Hierarchical Exponential-Gaussian Mixtures for Watch-Time Distribution Prediction
用于观看时长分布预测的层级指数-高斯混合模型
🧭 观看时长分布预测 · 混合密度网络 ★ 深度解读
AI VK · Lomonosov MSU
修复EGMN方差坍塌与组件冗余，通过层级skip-watch分解和KL方差正则提升排序与完播预测，工业A/B显著提升session depth
📌 工作参考价值（4 点）
- 若业务目标是停留时长、完播率等多阈值事件，可考虑将点回归头替换为单一分布头（如指数-高斯混合），同一密度可同时输出期望WT、P(Y>τ)、P(Y>ρd)等信号，避免为每个阈值单独训练模型；但模型选择应使用排序指标（如XAUC）而非NLL，因为方差坍塌会让NLL不可靠。
- 混合分布头极易发生方差坍塌和组件冗余，结构化初始化是关键：Gaussian means 均匀分布在归一化支撑上（如 k/(K+1)），σ 初始化为 1.5/K，指数成分 λ 初始化为短时长先验（1/0.05）。消融显示去掉该初始化，工业 XAUC 从 0.7188 暴跌至 0.6841。
- 层级 skip–watch 分解（sigmoid gate 分开快速跳过与真正观看）比 flat softmax 更可解释且排序更好；移除 EGMN 的 forced Gaussian shift 和 entropy regularization 通常能提升稳定性。
- 对于过参数化混合（如 K≥8），可加 mean-agnostic 的 KL 方差正则：按视频时长分桶估计参考方差，只约束每个 Gaussian 的方差，既防止 collapse 又能改善尾部阈值预测；在 K=3 时不必加该正则，以免轻微牺牲排序。生产部署延迟增加约1.2ms，通常在30ms约束内可接受。